Lê Xuân Duy sinh ra và lớn lên trong một gia đình nông dân ở xã Tử Du, huyện Lập Thạch, tỉnh Vĩnh Phúc; trú quán tại số nhà 332, đường Trần Phú, phường Dữu Lâu, thành phố Việt Trì, tỉnh Phú Thọ

Sau khi tốt nghiệp phổ thông trung học, tháng 01, 1981 ông nhập ngũ, là chiến sĩ Tiểu đoàn 4, Sư đoàn 411, Quân khu 2; học viên Trường Hạ sĩ quan Quân khu 2, Trường Sĩ quan Lục quân 2; ngày 19 tháng 5 năm 1983 ông được kết nạp vào Đảng Cộng sản Việt Nam.

Tháng 9 năm 1984 đến tháng 11 năm 1987, ông giữ các chức vụ: Trung đội trưởng, Phó đại đội trưởng quân sự, Đại đội trưởng trong Đại đội 1 (Tiểu đoàn 4, Trung đoàn 266, Sư đoàn 313, Quân khu 2); 

Tháng 12 năm 1987 đến tháng 10 năm 1989, ông giữ chức Trợ lý Tác chiến của Ban Tham mưu (Trung đoàn 266, Sư đoàn 313, Quân khu 2); 

Tháng 11 năm 1989 đến tháng 8 năm 1992, ông giữ chức Trợ lý Ban Tác chiến, Phòng Tham mưu, Sư đoàn 313, Quân khu 2;

Tháng 9 năm 1992 đến tháng 8 năm 1995, ông đi học tại Học viện Lục quân; 

Tháng 9 năm 1995 đến tháng 10 năm 1995, ông là giáo viên Khoa Chiến thuật, Học viện Quốc phòng; 

Tháng 11 năm 1995 đến tháng 8 năm 1997, ông giữ chức Tiểu đoàn trưởng Tiểu đoàn 3, Trung đoàn 174, Sư đoàn 316, Quân khu 2; 

Tháng 9 năm 1997 đến tháng 4 năm 2001, ông giữ chức Trưởng ban Tác huấn, Phòng Tham mưu, Sư đoàn 316, Quân khu 2;

Tháng 5 năm 2001 đến tháng 8 năm 2003, ông giữ chức Trung đoàn trưởng Trung đoàn 148, Sư đoàn 316, Quân khu 2;

Tháng 9 năm 2003 đến tháng 7 năm 2004, ông là Học viên Học viện Lục quân;

Tháng 8 năm 2004 đến tháng 10 năm 2008, ông giữ chức Phó trưởng phòng Tác chiến, Bộ Tham mưu, Quân khu 2; 

Tháng 11 năm 2008 đến tháng 10 năm 2010, ông giữ chức Trưởng phòng Tác chiến, Bộ Tham mưu, Quân khu 2; 

Tháng 11 năm 2010 đến tháng 5 năm 2012, ông giữ chức Sư đoàn trưởng Sư đoàn 316, Quân khu 2;

Tháng 6 năm 2012 đến tháng 4 năm 2014, ông giữ chức Chỉ huy trưởng Bộ Chỉ huy quân sự tỉnh Yên Bái, Quân khu 2;

Tháng 5 năm 2014 đến tháng 4 năm 2016, ông giữ chức Phó Tư lệnh Quân khu 2;

Tháng 1 năm 2016, tại Đại hội Đảng toàn quốc lần thứ XII của Đảng, Lê Xuân Duy được bầu làm Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khóa XII.

Tháng 5 năm 2016, Lê Xuân Duy được bầu bổ sung làm Ủy viên Quân ủy Trung ương và được giao Phụ trách Tư lệnh Quân khu 2.

Ngày 7 tháng 8 năm 2016, Lê Xuân Duy qua đời do mắc phải bệnh hiểm nghèo, hưởng dương 53 tuổi.